Sau khi bị lột hết áo mão và bị đuổi về quê, Duy Từ sống bằng nghề dạy học. Một hôm ông nói với bạn rằng: Tôi nghe chúa Nguyễn hùng cứ đất Thuận Quảng, làm nhiều việc nhân đức, lại có lòng yêu kẻ sĩ, trọng người hiền... Nếu ta theo vào giúp thì chẳng khác gì Trương Lương về Hán, Ngũ Viên sang Ngô, có thể làm tỏ rạng thanh danh, ta không đến nỗi phải nát cùng cây cỏ, uổng phí một đời.... Rồi mùa đông năm Ất Dậu (1625), Đào Duy Từ trốn được vào xứ Đàng Trong. Đầu tiên, ông ở huyện Vũ Xương hơn một tháng để nghe ngóng tình hình. Ông đi tìm chúa Nguyễn nhưng đến nơi thì không gặp do chúa đã đi xa để kinh lý. Hết tiền tiêu, Duy Từ phải tìm đường khác. Ông dò được là Khám lý Trần Đức Hòa vốn là một thân tín của chúa Nguyễn nên đi đến Quy Nhơn để kiếm cơ lập thân.[9] Sau biết khám lý Hoài Nhân là Trần Đức Hòa là người có mưu trí được chúa Nguyễn Phúc Nguyên tin dùng, ông vào Hoài Nhân, đến thôn Tùng Châu (thôn Tùng Châu đến đời Gia Long được chia làm 9 khu phố là Cự Tài, Phụng Du, Tấn Thạnh, Tân Bình, Phú Mỹ, Hội Phú, Phú Thọ, Cự Nghi và Cự Lễ, nay thuộc phường Hoài Hảo và Hoài Phú, thị xã Hoài Nhơn, tỉnh Bình Định) để ở chăn trâu cho nhà phú hộ Chúc Trịnh Long cách nhà Trần Đức Hòa một con sông nhỏ.[9] Tâm ý của Duy Từ là ẩn mình, chờ đợi thờ cơ đồng thời dò xét chính sự Đàng Trong.[9] Con trai của vị phú hộ, tên là Chúc Hữu Minh, mở Tùng Châu thi xã, lấy Duy Từ làm thư đồng để phục vụ các bằng hữu văn chương.[9]

Một hôm, khi nhà phú nông đang vui vẻ đàm luận kinh sử, Đào Duy Từ dắt trâu về chuồng. Biết đó là đám quan Nho, ông đặt chân lên bậc thềm và nhìn chằm chằm không chào hỏi gì.

Giai thoại kể rằng khi bị gia chủ mắng là “kẻ chăn trâu không biết gì”, Đào Duy Từ cười vang rồi nói: “Trong làng Nho cũng có quân tử, cũng có tiểu nhân. Trong bọn chăn trâu cũng có kẻ chăn trâu anh hùng và kẻ chăn trâu tôi tớ”.

Khách nghe Đào Duy Từ đáp như thế rất lấy làm ngạc nhiên, bèn hỏi: “Ngươi bảo ai là Nho quân tử, ai là Nho tiểu nhân?”.

Đào Duy Từ cười đáp: “Nho quân tử thì phải thông hiểu tam tài. Ở nhà lo giữ đạo cha con, anh em và vợ chồng. Khi ra giúp việc cho nước nhà phải biết tìm mưu lược để giữ yên lòng dân và cứu chỗ hiểm, phò chỗ nguy, bày binh bố trận, phải lập công danh sự nghiệp, để tiếng thơm lại cho mai sau, đời đời còn rạng rỡ, ngàn năm không phai mờ.

Còn như Nho tiểu nhân, tài học nhiều lắm cũng ở mức tầm chương trích cú, chỉ muốn thong dong nơi bút mực văn chương để cầu danh lợi, mượn Nho để cười gió giỡn trăng, coi thường những kẻ hào kiệt ở đời".

Khách nhà Nho nghe nói thì cả kinh, bèn hỏi tiếp: “Thế nào là kẻ chăn trâu anh hùng, thế nào là kẻ chăn trâu chỉ đáng phận tôi tớ, ngươi thử nói tiếp cho rõ ràng xem?”.

Đào Duy Từ lại mỉm cười rồi nói: “Kẻ chăn trâu anh hùng thì như Ninh Thích phục hưng được nước Tề, Điền Đan dùng kế hỏa công mà thu phục những thành trì bị người nước Yên chiếm cứ, Hứa Do dắt trâu ra khe uống nước mà cũng biết được lẽ hưng vong và thịnh loạn, Bách Lý Hề đi chăn dê vùng miền trung nước Tần mà cũng nắm vững sự thịnh suy, bĩ thái...

Còn như kẻ chăn trâu chỉ đáng phận tôi tớ thì chỉ biết đói thì ăn, no thì bỏ, ngày bỏ mặc trâu để đi ăn trộm quả, đêm ngủ say mà quên cả việc bỏ rơm cho trâu bò ăn thêm.

Bọn ấy chỉ biết thân mình, dầm mưa dãi gió, ra không biết kính sợ quỷ thần, vào không biết làm gì cho mẹ cha nhờ cậy, lêu lổng chơi bời vô độ, khi vui thì mặc sức reo hò múa hát, khi giận thì chẳng kể ruột thịt thân sơ, làm xấu cả cha anh, gieo oán hờn cho làng xóm. Bọn ấy chẳng cần hỏi tới làm gì”.

Khách nghe Đào Duy Từ ứng đối lưu loát, đã bác cổ lại thông kim, nên ai nấy đều ngồi nhìn và lòng thì lấy làm kinh hãi. Không ai bảo ai, tất cả đứng dậy khoanh tay thưa rằng: “Ông quả là bậc thầy cao minh”. Nói rồi, xuống mời Đào Duy Từ lên ngồi chiếu trên. Từ đó, gia chủ may sắm quần áo mới cho Đào Duy Từ, mời ngồi giảng sách, không bắt đi chăn trâu nữa.

Phú hộ Chúc Trịnh Long bèn kể chuyện này cho Trần Đức Hòa; ông Trần Đức Hòa bèn tìm tới hỏi chuyện Duy Từ. Thấy Duy Từ có tài học rộng, ông mời về dạy học rồi gả con gái Trần Kim Nương cho.[10] Thời gian này, Duy Từ thường ngâm bài "Ngọa Long cương vãn" bằng quốc âm để tự sánh mình với Gia Cát Lượng khi xưa.[10] Khi Trần Đức Hòa xem bài Ngọa Long cương của Đào Duy Từ liền nói rằng: Đào Duy Từ là Ngọa Long đời này chăng.[6]